<html>
 <head>
  <meta charset="utf-8"/>
  <meta content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no" name="viewport"/>
  <title>
   HuJiangtang: 分类模型的性能评估——以SAS Logistic回归为例(3): Lift和Gain  | 数螺 | NAUT IDEA
  </title>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap-theme.min.css" rel="stylesheet"/>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap.min.css" rel="stylesheet"/>
  <style type="text/css">
   #xmain img {
                  max-width: 100%;
                  display: block;
                  margin-top: 10px;
                  margin-bottom: 10px;
                }

                #xmain p {
                    line-height:150%;
                    font-size: 16px;
                    margin-top: 20px;
                }

                #xmain h2 {
                    font-size: 24px;
                }

                #xmain h3 {
                    font-size: 20px;
                }

                #xmain h4 {
                    font-size: 18px;
                }


                .header {
	           background-color: #0099ff;
	           color: #ffffff;
	           margin-bottom: 20px;
	        }

	        .header p {
                  margin: 0px;
                  padding: 10px 0;
                  display: inline-block;  
                  vertical-align: middle;
                  font-size: 16px;
               }

               .header a {
                 color: white;
               }

              .header img {
                 height: 25px;
              }
  </style>
  <script src="http://cdn.bootcss.com/jquery/3.0.0/jquery.min.js">
  </script>
  <script src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML" type="text/javascript">
   MathJax.Hub.Config({
          tex2jax: {inlineMath: [['$','$'], ['\\(','\\)']]},
          TeX: {equationNumbers: {autoNumber: "AMS"}}
        });
  </script>
  <script src="http://nautstatic-10007657.file.myqcloud.com/static/css/readability.min.js" type="text/javascript">
  </script>
  <script type="text/javascript">
   $(document).ready(function() {
                 var loc = document.location;
                 var uri = {
                  spec: "http://cos.name/2009/02/measure-classification-model-performance-lift-gain/",
                  host: "http://cos.name",
                  prePath: "http://cos.name",
                  scheme: "http",
                  pathBase: "http://cos.name/"
                 };
    
                 var documentClone = document.cloneNode(true);
                 var article = new Readability(uri, documentClone).parse();
     
                 document.getElementById("xmain").innerHTML = article.content;
                });
  </script>
  <!-- 1466441694: Accept with keywords: (title(0.5):门户网站,模型,分类,性能,统计学,服务平台,中国,回归, topn(0.433333333333):总数,个数,统计学,R语言,例数,负例,数据挖掘,阈值,纵轴,模型,子集,文章,数据,回归,问卷,轨迹,预测,效果,性能,样本,矩阵,随机,正例,会议,利用,分类,评论,比例,论坛,数据库).-->
 </head>
 <body class="single single-post postid-669 single-format-standard sidebar" onload="">
  <div class="header">
   <div class="container">
    <div class="row">
     <div class="col-xs-6 col-sm-6 text-left">
      <a href="/databee">
       <img src="http://nautidea-10007657.cos.myqcloud.com/logo_white.png"/>
      </a>
      <a href="/databee">
       <p>
        数螺
       </p>
      </a>
     </div>
     <div class="hidden-xs col-sm-6 text-right">
      <p>
       致力于数据科学的推广和知识传播
      </p>
     </div>
    </div>
   </div>
  </div>
  <div class="container text-center">
   <h1>
    HuJiangtang: 分类模型的性能评估——以SAS Logistic回归为例(3): Lift和Gain
   </h1>
  </div>
  <div class="container" id="xmain">
   <div class="hfeed site" id="page">
    <header class="site-header" id="masthead" role="banner">
     <div id="cos-logo">
      <a href="http://cos.name/">
       <img src="http://cos.name/wp-content/themes/COS-kermesinus/images/headers/cos-logo.png"/>
      </a>
     </div>
     <div class="navbar" id="navbar">
      <nav class="navigation main-navigation" id="site-navigation" role="navigation">
       <h3 class="menu-toggle">
        菜单
       </h3>
       <a class="screen-reader-text skip-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#content" title="跳至内容">
        跳至内容
       </a>
       <div class="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95-container">
        <ul class="nav-menu" id="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95">
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-home menu-item-4746" id="menu-item-4746">
          <a href="http://cos.name">
           主页
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-8120" id="menu-item-8120">
          <a href="http://cos.name/cn">
           论坛
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8124" id="menu-item-8124">
            <a href="http://cos.name/cn/wp-login.php?action=register">
             论坛注册
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8125" id="menu-item-8125">
            <a href="http://cos.name/cn/wp-login.php">
             论坛登录
            </a>
           </li>
          </ul>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8110" id="menu-item-8110">
          <a href="http://cos.name/books/">
           图书资料
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8112" id="menu-item-8112">
          <a href="http://cos.name/videos">
           视频教程
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8333" id="menu-item-8333">
          <a href="http://cos.name/salon/">
           统计沙龙
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8111" id="menu-item-8111">
          <a href="http://cos.name/chinar/">
           R语言会议
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8109" id="menu-item-8109">
          <a href="http://cos.name/training/">
           讲座与培训
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8115" id="menu-item-8115">
          <a href="http://cos.name/cn/forum/comprehensive/job/">
           招聘信息
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-4780" id="menu-item-4780">
          <a href="http://cos.name/about">
           关于我们
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8113" id="menu-item-8113">
            <a href="http://cos.name/2008/11/how-to-work-with-cos/">
             加入我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8119" id="menu-item-8119">
            <a href="http://cos.name/donate/">
             赞助我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8114" id="menu-item-8114">
            <a href="http://cos.name/cn/forum/26">
             项目合作
            </a>
           </li>
          </ul>
         </li>
        </ul>
       </div>
       <form action="http://cos.name/" class="search-form" method="get" role="search">
        <label>
         <span class="screen-reader-text">
          搜索：
         </span>
        </label>
       </form>
      </nav>
      <!-- #site-navigation -->
     </div>
     <!-- #navbar -->
    </header>
    <!-- #masthead -->
    <div class="site-main" id="main">
     <div class="content-area" id="primary">
      <div class="site-content" id="content" role="main">
       <article class="post-669 post type-post status-publish format-standard hentry category-dmml category-graphics tag-confusion-matrix tag-gain tag-kolmogorov-smirnov tag-lift tag-logistic tag-lorentz-curve tag-sas tag-sensitiveity tag-specificity tag-145 tag-144 tag-151" id="post-669">
        <header class="entry-header">
         <h1 class="entry-title">
          分类模型的性能评估——以SAS Logistic回归为例(3): Lift和Gain
         </h1>
         <div class="entry-meta">
          <span class="date">
           <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/" rel="bookmark" title="链向分类模型的性能评估——以SAS Logistic回归为例(3): Lift和Gain的固定链接">
            <time class="entry-date" datetime="2009-02-18T17:38:59+00:00">
             2009/02/18
            </time>
           </a>
          </span>
          <span class="categories-links">
           <a href="http://cos.name/category/data/dmml/" rel="category tag">
            数据挖掘与机器学习
           </a>
           、
           <a href="http://cos.name/category/software/graphics/" rel="category tag">
            统计图形
           </a>
          </span>
          <span class="tags-links">
           <a href="http://cos.name/tag/confusion-matrix/" rel="tag">
            Confusion Matrix
           </a>
           、
           <a href="http://cos.name/tag/gain/" rel="tag">
            Gain
           </a>
           、
           <a href="http://cos.name/tag/kolmogorov-smirnov/" rel="tag">
            Kolmogorov-Smirnov
           </a>
           、
           <a href="http://cos.name/tag/lift/" rel="tag">
            Lift
           </a>
           、
           <a href="http://cos.name/tag/logistic%e5%9b%9e%e5%bd%92/" rel="tag">
            Logistic回归
           </a>
           、
           <a href="http://cos.name/tag/lorentz-curve/" rel="tag">
            Lorentz Curve
           </a>
           、
           <a href="http://cos.name/tag/sas/" rel="tag">
            SAS
           </a>
           、
           <a href="http://cos.name/tag/sensitiveity/" rel="tag">
            Sensitiveity
           </a>
           、
           <a href="http://cos.name/tag/specificity/" rel="tag">
            Specificity
           </a>
           、
           <a href="http://cos.name/tag/%e5%88%86%e7%b1%bb%e6%a8%a1%e5%9e%8b/" rel="tag">
            分类模型
           </a>
           、
           <a href="http://cos.name/tag/%e6%95%b0%e6%8d%ae%e6%8c%96%e6%8e%98/" rel="tag">
            数据挖掘
           </a>
           、
           <a href="http://cos.name/tag/%e6%b7%b7%e6%b7%86%e7%9f%a9%e9%98%b5/" rel="tag">
            混淆矩阵
           </a>
          </span>
          <span class="author vcard">
           <a class="url fn n" href="http://cos.name/author/hujiangtang/" rel="author" title="查看所有由胡江堂发布的文章">
            胡江堂
           </a>
          </span>
         </div>
         <!-- .entry-meta -->
        </header>
        <!-- .entry-header -->
        <div class="entry-content">
         <p>
          书接
          <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/" target="_blank">
           前文
          </a>
          。跟ROC类似，Lift（提升）和Gain（增益）也一样能简单地从
          <a href="http://cos.name/2008/12/measure-classification-model-performance-confusion-matrix/">
           以前的Confusion Matrix
          </a>
          以及Sensitivity、Specificity等信息中推导而来，也有跟一个baseline model的比较，然后也是很容易画出来，很容易解释。以下先修知识，包括所需的数据集：
         </p>
         <ol>
          <li>
           <a href="http://cos.name/2008/12/measure-classification-model-performance-confusion-matrix/">
            分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵
           </a>
          </li>
          <li>
           <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/">
            分类模型的性能评估——以SAS Logistic回归为例(2): ROC和AUC
           </a>
          </li>
         </ol>
         <p>
          <strong>
           一些准备
          </strong>
         </p>
         <p>
          说，混淆矩阵(Confusion Matrix)是我们永远值得信赖的朋友：
         </p>
         <table border="0" cellpadding="2" cellspacing="0" width="609">
          <tbody>
           <tr>
            <td valign="top" width="48">
            </td>
            <td valign="top" width="45">
            </td>
            <td valign="top" width="189">
             预测
            </td>
            <td valign="top" width="179">
            </td>
            <td valign="top" width="146">
            </td>
           </tr>
           <tr>
            <td valign="top" width="50">
            </td>
            <td valign="top" width="46">
            </td>
            <td valign="top" width="189">
             1
            </td>
            <td valign="top" width="179">
             0
            </td>
            <td valign="top" width="146">
            </td>
           </tr>
           <tr>
            <td valign="top" width="50">
             实
            </td>
            <td valign="top" width="47">
             1
            </td>
            <td valign="top" width="189">
             <span style="color: #ff0000;">
              d
             </span>
             , True Positive
            </td>
            <td valign="top" width="179">
             c, False Negative
            </td>
            <td valign="top" width="146">
             c+d, Actual Positive
            </td>
           </tr>
           <tr>
            <td valign="top" width="50">
             际
            </td>
            <td valign="top" width="48">
             0
            </td>
            <td valign="top" width="189">
             b, False Positive
            </td>
            <td valign="top" width="179">
             a, True Negative
            </td>
            <td valign="top" width="146">
             a+b, Actual Negative
            </td>
           </tr>
           <tr>
            <td valign="top" width="50">
            </td>
            <td valign="top" width="49">
            </td>
            <td valign="top" width="189">
             b+d, Predicted Positive
            </td>
            <td valign="top" width="179">
             a+c, Predicted Negative
            </td>
            <td valign="top" width="147">
            </td>
           </tr>
          </tbody>
         </table>
         <p>
          几个术语需要随时记起：
         </p>
         <blockquote>
          <p>
           1.
           <span style="color: #ff0000;">
            Sensitivity
           </span>
           （覆盖率，True Positive Rate）=正确预测到的正例数/实际正例总数
          </p>
          <p>
           Recall (True Positive Rate，or Sensitivity) =true positive/total actual positive=d/c+d
          </p>
          <p>
           2. PV+ (命中率，Precision,
           <span style="color: #ff0000;">
            Positive Predicted Value
           </span>
           ) =正确预测到的正例数/预测正例总数
          </p>
          <p>
           Precision (Positive Predicted Value, PV+) =true positive/ total predicted positive=d/b+d
          </p>
          <p>
           3.
           <span style="color: #ff0000;">
            Specificity
           </span>
           (负例的覆盖率，True Negative Rate) =正确预测到的负例个数/实际负例总数
          </p>
          <p>
           Specificity (True Negative Rate) =true negative/total actual negative=a/a+b
          </p>
         </blockquote>
         <p>
          首先记我们valid数据中，正例的比例为pi1（念做pai 1），在我们的例子中，它等于c+d/a+b+c+d=0.365。单独提出pi1，是因为有时考虑oversampling后的一些小调整，比如正例的比例只有0.001，但我们把它调整为0.365（此时要在SAS proc logistic回归的score语句加一个priorevent=0.001选项）。本文不涉及oversampling。现在定义些新变量：
         </p>
         <blockquote>
          <p>
           Ptp=proportion of true positives=d/a+b+c+d=(c+d/a+b+c+d)*(d/c+d) =pi1* Sensitivity，正确预测到的正例个数占总观测值的比例
          </p>
          <p>
           Pfp=proportion of false positives=b/a+b+c+d= (a+b/a+b+c+d)*(b/a+b) = (1-c+d/a+b+c+d)*(1-a/a+b) = (1-pi1)*(1- Specificity) ，把负例错误地预测成正例的个数占总数的比例
          </p>
          <p>
           <span style="color: #ff0000;">
            Depth
           </span>
           =proportion allocated to class 1=b+d/a+b+c+d=Ptp+Pfp，预测成正例的比例
          </p>
          <p>
           <span style="color: #ff0000;">
            PV_plus
           </span>
           =Precision (Positive Predicted Value, PV+) = d/b+d=Ptp/depth，正确预测到的正例数占预测正例总数的比例
          </p>
          <p>
           <span style="color: #ff0000;">
            Lift
           </span>
           = (d/b+d)/(c+d/a+b+c+d)=PV_plus/pi1，提升值，解释见下节。
          </p>
         </blockquote>
         <p>
          以上都可以利用valid_roc数据计算出来：
         </p>
         <blockquote>
          <p>
           %let pi1=0.365;
          </p>
          <p>
           <strong>
            data
           </strong>
           valid_lift;
          </p>
          <p>
           set valid_roc;
          </p>
          <p>
           cutoff=_PROB_;
          </p>
          <p>
           Ptp=&amp;pi1*_SENSIT_;
          </p>
          <p>
           Pfp=(
           <strong>
            1
           </strong>
           -&amp;pi1)*_1MSPEC_;
          </p>
          <p>
           <span style="color: #ff0000;">
            depth
           </span>
           =Ptp+Pfp;
          </p>
          <p>
           <span style="color: #ff0000;">
            PV_plus
           </span>
           =Ptp/depth;
          </p>
          <p>
           <span style="color: #ff0000;">
            lift
           </span>
           =PV_plus/&amp;pi1;
          </p>
          <p>
           keep cutoff _SENSIT_ _1MSPEC_ depth PV_plus lift;
          </p>
          <p>
           <strong>
            run
           </strong>
           ;
          </p>
         </blockquote>
         <p>
          先前我们说ROC curve是不同阈值下Sensitivity和1-Specificity的轨迹，类似，
         </p>
         <blockquote>
          <p>
           Lift chart是不同阈值下Lift和Depth的轨迹
          </p>
          <p>
           Gains chart是不同阈值下PV+和Depth的轨迹
          </p>
         </blockquote>
         <p>
         </p>
         <p name="_Toc218938116">
         </p>
         <strong>
          Lift
         </strong>
         <p>
         </p>
         <p>
          <strong>
           Lift
          </strong>
          = (d/b+d)/(c+d/a+b+c+d)=PV_plus/pi1)，这个指标需要多说两句。它衡量的是，与不利用模型相比，模型的预测能力“变好”了多少。不利用模型，我们只能利用“正例的比例是c+d/a+b+c+d”这个样本信息来估计正例的比例（baseline model），而利用模型之后，我们不需要从整个样本中来挑选正例，只需要从我们预测为正例的那个样本的子集（b+d）中挑选正例，这时预测的准确率为d/b+d。
         </p>
         <p>
          显然，lift(提升指数)越大，模型的运行效果越好。如果这个模型的预测能力跟baseline model一样，那么d/b+d就等于c+d/a+b+c+d（lift等于1），这个模型就没有任何“提升”了（套一句金融市场的话，它的业绩没有跑过市场）。这个概念在数据库营销中非常有用，举个
          <a href="http://johnthu.spaces.live.com/blog/cns!2053CD511E6D5B1E!308.entry">
           例子
          </a>
          ：
         </p>
         <p>
          比如说你要向选定的1000人邮寄调查问卷（a+b+c+d=1000）。以往的经验告诉你大概20%的人会把填好的问卷寄回给你，即1000人中有200人会对你的问卷作出回应（response，c+d=200），用统计学的术语，我们说baseline response rate是20%（c+d/a+b+c+d=20%）。
         </p>
         <p>
          如果你现在就漫天邮寄问卷，1000份你期望能收回200份，这可能达不到一次问卷调查所要求的回收率，比如说工作手册规定邮寄问卷回收率要在25%以上。
         </p>
         <p>
          通过以前的问卷调查，你收集了关于问卷采访对象的相关资料，比如说年龄、教育程度之类。利用这些数据，你确定了哪类被访问者对问卷反应积极。假设你已经利用这些过去的数据建立了模型，这个模型把这1000人分了类，现在你可以从你的千人名单中挑选出反应最积极的100人来（b+d=100），这10%的人的反应率 (response rate)为60%（d/b+d=60%，d=60）。那么，对这100人的群体（我们称之为Top 10%），通过运用我们的模型，相对的提升(lift value)就为60%/20%=3；换句话说，与不运用模型而随机选择相比，运用模型而挑选，效果提升了3倍。
         </p>
         <p>
          上面说lift chart是不同阈值下Lift和Depth的轨迹，先画出来：
         </p>
         <blockquote>
          <p>
           symbol i=join v=none c=black;
          </p>
          <p>
           <strong>
            proc
           </strong>
           <strong>
            gplot
           </strong>
           data=valid_lift;
          </p>
          <p>
           <span style="color: #ff0000;">
            plot lift*depth;
           </span>
          </p>
          <p>
           <strong>
            run
           </strong>
           ;
           <strong>
            quit
           </strong>
           ;
          </p>
         </blockquote>
         <p style="text-align: center;">
          <a href="http://cos.name/wp-content/uploads/2009/02/lift.png">
           <img src="http://cos.name/wp-content/uploads/2009/02/lift-thumb.png"/>
          </a>
         </p>
         <p>
          上图的纵坐标是lift，意义已经很清楚。横坐标depth需要多提一句。以前说过，随着阈值的减小，更多的客户就会被归为正例，也就是depth（预测成正例的比例）变大。当阈值设得够大，只有一小部分观测值会归为正例，但这一小部分（一小撮）一定是最具有正例特征的观测值集合（用上面数据库营销的例子来说，这一部分人群对邮寄问卷反应最为活跃），所以在这个depth下，对应的lift值最大。
         </p>
         <p>
          同样，当阈值设定得足够的小，那么几乎所有的观测值都会被归为正例（depth几乎为1）——这时分类的效果就跟baseline model差不多了，相对应的lift值就接近于1。
         </p>
         <p>
          一个好的分类模型，就是要偏离baseline model足够远。在lift图中，表现就是，在depth为1之前，lift一直保持较高的（大于1的）数值，也即曲线足够的陡峭。
         </p>
         <p>
          /*注：在一些应用中（比如
          <a href="http://johnthu.spaces.live.com/blog/cns!2053CD511E6D5B1E!308.entry">
           信用评分
          </a>
          ），会根据分类模型的结果，把样本分成10个数目相同的子集，每一个子集称为一个decile，其中第一个decile拥有最多的正例特征，第二个decile次之，依次类推，以上lift和depth组合就可以改写成lift和decile的组合，也称作lift图，含义一样。刚才提到，“随着阈值的减小，更多的客户就会被归为正例，也就是depth（预测成正例的比例）变大。当阈值设得够大，只有一小部分观测值会归为正例，但这一小部分（
          <em>
           第一个
          </em>
          <em>
           decile
          </em>
          ）一定是最具有正例特征的观测值集合。”*/
         </p>
         <p>
          <strong>
           Gains
          </strong>
         </p>
         <p>
          Gains (增益) 与 Lift （提升）相当类似：Lift chart是不同阈值下Lift和Depth的轨迹，Gains chart是不同阈值下PV+和Depth的轨迹，而PV+=lift*pi1= d/b+d（见上），所以它们显而易见的区别就在于纵轴刻度的不同：
         </p>
         <blockquote>
          <p>
           symbol i=join v=none c=black;
          </p>
          <p>
           <strong>
            proc
           </strong>
           <strong>
            gplot
           </strong>
           data=valid_lift;
          </p>
          <p>
           <span style="color: #ff0000;">
            plot pv_plus*depth;
           </span>
          </p>
          <p>
           <strong>
            run
           </strong>
           ;
           <strong>
            quit
           </strong>
           ;
          </p>
         </blockquote>
         <p style="text-align: center;">
          <a href="http://cos.name/wp-content/uploads/2009/02/gains.png">
           <img src="http://cos.name/wp-content/uploads/2009/02/gains-thumb.png"/>
          </a>
         </p>
         <p>
          上图阈值的变化，含义与lift图一样。随着阈值的减小，更多的客户就会被归为正例，也就是depth（预测成正例的比例，b+d/a+b+c+d）变大（b+d变大），这样PV+（d/b+d，正确预测到的正例数占预测正例总数的比例）就相应减小。当阈值设定得足够的小，那么几乎所有的观测值都会被归为正例（depth几乎为1），那么PV+就等于数据中正例的比例pi1了（这里是0.365。在Lift那一节里，我们说此时分类的效果就跟baseline model差不多，相对应的lift值就接近于1，而PV+=lift*pi1。Lift的baseline model是纵轴上恒等于1的水平线，而Gains的baseline model是纵轴上恒等于pi1的水平线）。显然，跟lift 图类似，一个好的分类模型，在阈值变大时，相应的PV+就要变大，曲线足够陡峭。
         </p>
         <p>
          /*注：我们一般看到的Gains Chart，图形是往上走的，咋一看跟上文相反，其实道理一致，只是坐标选择有差别，不提。*/
         </p>
         <p>
          <strong>
           总结和下期预告：
          </strong>
          <strong>
           K-S
          </strong>
          <strong>
          </strong>
         </p>
         <p>
          以上提到的ROC、Lift、Gains，都是基于混淆矩阵及其派生出来的几个指标（Sensitivity和Specificity等等）。如果愿意，你随意组合几个指标，展示到二维空间，就是一种跟ROC平行的评估图。比如，你plot Sensitivity*Depth一把，就出一个新图了，——很不幸，这个图叫做Lorentz Curve（劳伦兹曲线），不过你还可以尝试一下别的组合，然后凑一个合理的解释。
         </p>
         <p>
          Gains chart是不同阈值下PV+和Depth的轨迹（Lift与之类似），而ROC是sensitivity和1-Specificity的对应，前面还提到，Sensitivity（覆盖率，True Positive Rate）在欺诈监控方面更有用（所以ROC更适合出现在这个场合），而PV+在数据库营销里面更有用（这里多用Gains/Lift）。
         </p>
         <p>
          混淆矩阵告一段落。接下来将是K-S(Kolmogorov-Smirnov)。参考资料同
          <a href="http://cos.name/2008/12/measure-classification-model-performance-roc-auc/" target="_blank">
           上一篇
          </a>
          。
         </p>
         <div class="wumii-hook">
          <br/>
          <br/>
         </div>
        </div>
        <!-- .entry-content -->
        <footer class="entry-meta">
         <div class="author-info">
          <div class="author-avatar">
           <img src="http://sdn.geekzu.org/avatar/abd82db6fc93f4ed3c5ae292f4d8f0c7?s=74&amp;d=monsterid&amp;r=g"/>
          </div>
          <!-- .author-avatar -->
          <div class="author-description">
           <h2 class="author-title">
            关于胡江堂
           </h2>
           <p class="author-bio">
            胡江堂，行业/职业：医药/SAS程序员；教育背景：经济学-&gt;软件工程；学术兴趣：数据挖掘-商务智能，信用评分-数量金融、SAS-应用统计；个人主页：
            <a href="http://jiangtanghu.com//">
             http://jiangtanghu.com/
            </a>
            <a class="author-link" href="http://cos.name/author/hujiangtang/" rel="author">
             查看所有由胡江堂发表的文章
             <span class="meta-nav">
              →
             </span>
            </a>
           </p>
          </div>
          <!-- .author-description -->
         </div>
         <!-- .author-info -->
        </footer>
        <!-- .entry-meta -->
       </article>
       <!-- #post -->
       <nav class="navigation post-navigation" role="navigation">
        <h1 class="screen-reader-text">
         文章导航
        </h1>
        <div class="nav-links">
         <a href="http://cos.name/2009/02/google-visualization-api-and-data-analysis-online/" rel="prev">
          <span class="meta-nav">
           ←
          </span>
          Google Visualization API 与在线数据分析
         </a>
         <a href="http://cos.name/2009/02/create-r-packages-under-windows/" rel="next">
          在Windows中创建R的包的步骤
          <span class="meta-nav">
           →
          </span>
         </a>
        </div>
        <!-- .nav-links -->
       </nav>
       <!-- .navigation -->
       <div class="comments-area" id="comments">
        <h2 class="comments-title">
         《
         <span>
          分类模型的性能评估——以SAS Logistic回归为例(3): Lift和Gain
         </span>
         》有14个想法
        </h2>
        <ol class="comment-list">
         <li class="comment even thread-even depth-1" id="comment-300">
          <article class="comment-body" id="div-comment-300">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/58eb3850989075ef6c8bad14375ce1fe?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              dangcingbin
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-300">
              <time datetime="2009-02-22T23:37:30+00:00">
               2009/02/22 23:37
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             仁兄写的不错，浅显易懂
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给dangcingbin" class="comment-reply-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/?replytocom=300#respond" onclick='return addComment.moveForm( "div-comment-300", "300", "respond", "669" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-312">
          <article class="comment-body" id="div-comment-312">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/0015b6d973e4713498ca7d6634f23987?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              zhanyu
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-312">
              <time datetime="2009-02-27T00:04:00+00:00">
               2009/02/27 00:04
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             很好的入门教程，我正在找这方面的入门资料，真是深受启发，感谢作者的笔墨。并期待下一篇。
             <br/>
             ：）
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给zhanyu" class="comment-reply-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/?replytocom=312#respond" onclick='return addComment.moveForm( "div-comment-312", "312", "respond", "669" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-even depth-1" id="comment-343">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://cos.name/2009/02/cos-navigation-8/" rel="external nofollow">
            统计之都《本周导读》第八辑 | 统计之都
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-796">
          <article class="comment-body" id="div-comment-796">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/c5be72d3d23d0b06bad1008c52e44087?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://sunix.name" rel="external nofollow">
               sunix
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-796">
              <time datetime="2009-08-11T19:39:31+00:00">
               2009/08/11 19:39
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             不错，讲得相当清楚
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给sunix" class="comment-reply-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/?replytocom=796#respond" onclick='return addComment.moveForm( "div-comment-796", "796", "respond", "669" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-797">
          <article class="comment-body" id="div-comment-797">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/c5be72d3d23d0b06bad1008c52e44087?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              sunix
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-797">
              <time datetime="2009-08-11T19:42:31+00:00">
               2009/08/11 19:42
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             道理讲得很清晰易懂，佩服
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给sunix" class="comment-reply-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/?replytocom=797#respond" onclick='return addComment.moveForm( "div-comment-797", "797", "respond", "669" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-1123">
          <article class="comment-body" id="div-comment-1123">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/07b9512793b90bbd6f373d2686d97719?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              Leeo
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-1123">
              <time datetime="2009-12-25T20:44:51+00:00">
               2009/12/25 20:44
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             很不错，拜读了！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Leeo" class="comment-reply-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/?replytocom=1123#respond" onclick='return addComment.moveForm( "div-comment-1123", "1123", "respond", "669" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1 parent" id="comment-1490">
          <article class="comment-body" id="div-comment-1490">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/297f5a15b15792a065a95b56eba60243?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              皮皮米菲兔
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-1490">
              <time datetime="2010-05-26T03:14:59+00:00">
               2010/05/26 03:14
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             请问啥时候有K-S啊？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给皮皮米菲兔" class="comment-reply-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/?replytocom=1490#respond" onclick='return addComment.moveForm( "div-comment-1490", "1490", "respond", "669" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment odd alt depth-2" id="comment-3288">
            <article class="comment-body" id="div-comment-3288">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/162ae59e7002e9724b8e1f91fabb25bc?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                飞刀
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-3288">
                <time datetime="2012-08-21T15:54:12+00:00">
                 2012/08/21 15:54
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               同问，学习中
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给飞刀" class="comment-reply-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/?replytocom=3288#respond" onclick='return addComment.moveForm( "div-comment-3288", "3288", "respond", "669" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-1727">
          <article class="comment-body" id="div-comment-1727">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/5b8ec9f0d3cfb062a1cfdc8dac0462a8?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              李刚
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-1727">
              <time datetime="2010-11-22T10:39:03+00:00">
               2010/11/22 10:39
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             “现在你可以从你的千人名单中挑选出反应最积极的100人来（b+d=100），这10%的人的反应率 (response rate)为60%（d/b+d=60%，d=60）。那么，对这100人的群体（我们称之为Top 10%），通过运用我们的模型，相对的提升(lift value)就为60%/20%=3；换句话说，与不运用模型而随机选择相比，运用模型而挑选，效果提升了3倍。”—lift chart从总体上看，是逐渐降低的，为什么有波动？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给李刚" class="comment-reply-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/?replytocom=1727#respond" onclick='return addComment.moveForm( "div-comment-1727", "1727", "respond", "669" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1 parent" id="comment-1743">
          <article class="comment-body" id="div-comment-1743">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/5b8ec9f0d3cfb062a1cfdc8dac0462a8?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              李刚
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-1743">
              <time datetime="2010-11-24T09:21:54+00:00">
               2010/11/24 09:21
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             lift chart从总体上看，是逐渐降低的，为什么有波动(有时反而上升）？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给李刚" class="comment-reply-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/?replytocom=1743#respond" onclick='return addComment.moveForm( "div-comment-1743", "1743", "respond", "669" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment even depth-2 parent" id="comment-1746">
            <article class="comment-body" id="div-comment-1746">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/297f5a15b15792a065a95b56eba60243?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                <a class="url" href="http://chen.yi.bo.blog.163.com/" rel="external nofollow">
                 波波头一头
                </a>
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-1746">
                <time datetime="2010-11-24T21:33:23+00:00">
                 2010/11/24 21:33
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               我的理解是，模型在某些段落上可能表现特别好，所以lift会变大。
               <br/>
               例如头十个人的响应率是40%，而随后的十个人的响应率是100%，于是前二十个人的响应率就是70%，于是lift变大了。
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给波波头一头" class="comment-reply-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/?replytocom=1746#respond" onclick='return addComment.moveForm( "div-comment-1746", "1746", "respond", "669" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
            <ol class="children">
             <li class="comment odd alt depth-3" id="comment-1747">
              <article class="comment-body" id="div-comment-1747">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/5b8ec9f0d3cfb062a1cfdc8dac0462a8?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  ligang
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-1747">
                  <time datetime="2010-11-24T22:01:03+00:00">
                   2010/11/24 22:01
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 解释不准确
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
            </ol>
            <!-- .children -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-5410">
          <article class="comment-body" id="div-comment-5410">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.qq.com/lichuntwo" rel="external nofollow">
               李春
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-5410">
              <time datetime="2014-03-05T18:23:00+00:00">
               2014/03/05 18:23
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             赞一下
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给李春" class="comment-reply-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/?replytocom=5410#respond" onclick='return addComment.moveForm( "div-comment-5410", "5410", "respond", "669" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-6717">
          <article class="comment-body" id="div-comment-6717">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/e0e701db092a8bd67a35ce9d5c889fad?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              ericuni
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#comment-6717">
              <time datetime="2015-05-28T22:42:06+00:00">
               2015/05/28 22:42
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             confusion matrix 和wikipedia 的上有出入
             <br/>
             <a href="http://en.wikipedia.org/wiki/Confusion_matrix" rel="nofollow">
              http://en.wikipedia.org/wiki/Confusion_matrix
             </a>
             <br/>
             FP 与 FN 位置不一样
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给ericuni" class="comment-reply-link" href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/?replytocom=6717#respond" onclick='return addComment.moveForm( "div-comment-6717", "6717", "respond", "669" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
        </ol>
        <!-- .comment-list -->
        <div class="comment-respond" id="respond">
         <h3 class="comment-reply-title" id="reply-title">
          发表评论
          <small>
           <a href="http://cos.name/2009/02/measure-classification-model-performance-lift-gain/#respond" id="cancel-comment-reply-link" rel="nofollow" style="display:none;">
            取消回复
           </a>
          </small>
         </h3>
         <form action="http://cos.name/wp-comments-post.php" class="comment-form" id="commentform" method="post" novalidate="">
          <p class="comment-notes">
           <span id="email-notes">
            电子邮件地址不会被公开。
           </span>
           必填项已用
           <span class="required">
            *
           </span>
           标注
          </p>
          <p class="comment-form-comment">
           <label for="comment">
            评论
           </label>
           <textarea aria-required="true" cols="45" id="comment" maxlength="65525" name="comment" required="required" rows="8">
           </textarea>
          </p>
          <p class="comment-form-author">
           <label for="author">
            姓名
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-email">
           <label for="email">
            电子邮件
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-url">
           <label for="url">
            站点
           </label>
          </p>
          <p class="form-submit">
          </p>
          <p style="display: none;">
          </p>
          <p style="display: none;">
          </p>
         </form>
        </div>
        <!-- #respond -->
       </div>
       <!-- #comments -->
      </div>
      <!-- #content -->
     </div>
     <!-- #primary -->
     <div class="sidebar-container" id="tertiary" role="complementary">
      <div class="sidebar-inner">
       <div class="widget-area">
        <aside class="widget widget_text" id="text-3">
         <h3 class="widget-title">
          关注统计之都
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            新浪微博
            <a href="http://weibo.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            人人网
            <a href="http://renren.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            Twitter
            <a href="http://twitter.com/cos_name">
             @cos_name
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-6">
         <h3 class="widget-title">
          微信公众平台
         </h3>
         <div class="textwidget">
          <img src="http://cos.name/wp-content/uploads/2013/04/qrcode-8cm.jpg"/>
          <p style="font-size:12px;margin-left:15px">
           微信号 CapStat
          </p>
          <p>
           我们将第一时间向您推送主站和论坛的精彩内容，以及统计之都的线下活动、竞赛、培训和会议信息。
          </p>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-8">
         <h3 class="widget-title">
          站内导航
         </h3>
         <div class="textwidget">
          <ul>
           <li class="page_item">
            <a href="http://cos.name/cn/">
             中文论坛
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/videos/">
             视频
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/salon/">
             统计沙龙
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/books/">
             图书出版
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/training/">
             教育培训
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/about/">
             关于我们
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/donate/">
             捐赠
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/chinar/">
             R语言会议
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_links" id="linkcat-2">
         <h3 class="widget-title">
          友情链接
         </h3>
         <ul class="xoxo blogroll">
          <li>
           <a href="http://stat.ruc.edu.cn" target="_blank" title="中国人民大学统计学院网站">
            中国人民大学统计学院
           </a>
          </li>
          <li>
           <a href="http://rucdmc.net">
            中国人民大学数据挖掘中心
           </a>
          </li>
          <li>
           <a href="http://birc.gsm.pku.edu.cn/" target="_blank">
            北京大学商务智能研究中心
           </a>
          </li>
          <li>
           <a href="http://sam.cufe.edu.cn/" target="_blank" title="中央财经大学统计与数学学院网站">
            中央财经大学统计与数学学院
           </a>
          </li>
          <li>
           <a href="http://tjx.cueb.edu.cn/" target="_blank" title="首都经济贸易大学统计学院网站">
            首经贸统计学院
           </a>
          </li>
          <li>
           <a href="http://www.shookr.com/">
            数客网大数据社区
           </a>
          </li>
          <li>
           <a href="http://www.xueqing.tv/" target="_blank" title="数据科学在线学习平台">
            雪晴数据网
           </a>
          </li>
          <li>
           <a href="http://iera.name/" target="_blank" title="IERA是一个旨在普及、传播和增进工业工程知识的非营利性网站">
            IERA（直通IE）
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_categories" id="categories-2">
         <h3 class="widget-title">
          全部分类
         </h3>
         <label class="screen-reader-text" for="cat">
          全部分类
         </label>
         <select class="postform" id="cat" name="cat">
          <option value="-1">
           选择分类目录
          </option>
          <option class="level-0" value="925">
           cos访谈  (4)
          </option>
          <option class="level-0" value="659">
           图书出版  (5)
          </option>
          <option class="level-0" value="379">
           数学方法  (14)
          </option>
          <option class="level-1" value="381">
           分析与代数  (1)
          </option>
          <option class="level-1" value="380">
           概率论  (9)
          </option>
          <option class="level-1" value="382">
           随机过程  (5)
          </option>
          <option class="level-0" value="210">
           数据分析  (81)
          </option>
          <option class="level-1" value="203">
           多元统计  (3)
          </option>
          <option class="level-1" value="42">
           数据挖掘与机器学习  (42)
          </option>
          <option class="level-1" value="36">
           生物与医学统计  (17)
          </option>
          <option class="level-1" value="35">
           计量经济学  (4)
          </option>
          <option class="level-1" value="296">
           金融统计  (3)
          </option>
          <option class="level-1" value="303">
           风险精算  (7)
          </option>
          <option class="level-0" value="177">
           模型专题  (15)
          </option>
          <option class="level-1" value="38">
           回归分析  (10)
          </option>
          <option class="level-1" value="41">
           时间序列  (2)
          </option>
          <option class="level-0" value="784">
           每周精选  (24)
          </option>
          <option class="level-1" value="183">
           可视化  (9)
          </option>
          <option class="level-0" value="967">
           沙龙纪要  (3)
          </option>
          <option class="level-0" value="18">
           经典理论  (46)
          </option>
          <option class="level-1" value="37">
           抽样调查  (3)
          </option>
          <option class="level-1" value="4">
           统计推断  (26)
          </option>
          <option class="level-1" value="236">
           试验设计  (7)
          </option>
          <option class="level-1" value="39">
           非参数统计  (3)
          </option>
          <option class="level-0" value="1">
           统计之都  (279)
          </option>
          <option class="level-1" value="884">
           中国R会议  (2)
          </option>
          <option class="level-1" value="885">
           中国R语言会议  (5)
          </option>
          <option class="level-1" value="446">
           出国留学  (3)
          </option>
          <option class="level-1" value="179">
           推荐文章  (90)
          </option>
          <option class="level-1" value="3">
           新闻通知  (75)
          </option>
          <option class="level-1" value="263">
           统计刊物  (10)
          </option>
          <option class="level-1" value="174">
           网站导读  (40)
          </option>
          <option class="level-1" value="204">
           职业事业  (51)
          </option>
          <option class="level-1" value="213">
           高校课堂  (9)
          </option>
          <option class="level-0" value="178">
           统计计算  (28)
          </option>
          <option class="level-1" value="40">
           优化与模拟  (15)
          </option>
          <option class="level-1" value="43">
           贝叶斯方法  (6)
          </option>
          <option class="level-0" value="378">
           软件应用  (116)
          </option>
          <option class="level-1" value="44">
           统计图形  (36)
          </option>
          <option class="level-1" value="110">
           统计软件  (83)
          </option>
         </select>
        </aside>
        <aside class="widget widget_recent_comments" id="recent-comments-2">
         <h3 class="widget-title">
          最新评论
         </h3>
         <ul id="recentcomments">
          <li class="recentcomments">
           <span class="comment-author-link">
            fineboom
           </span>
           发表在《
           <a href="http://cos.name/2016/06/use-shiny-fleetly-set-up-visual-prototype-system/#comment-7317">
            利用shiny包快速搭建可视化原型系统
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            胡家新
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7316">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://www.zijiacha.com/category.php?id=6" rel="external nofollow">
             南糯山普洱茶
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7315">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            J
           </span>
           发表在《
           <a href="http://cos.name/2016/05/value-of-the-reputation-from-the-data/#comment-7314">
            数据告诉你：高信誉的卖家应该收高价，还是收低价？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://gg" rel="external nofollow">
             Hilda
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2013/01/drawing-map-in-r-era/#comment-7311">
            R时代，你要怎样画地图？
           </a>
           》
          </li>
         </ul>
        </aside>
        <aside class="widget widget_rss" id="rss-282869971">
         <h3 class="widget-title">
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           <img src="http://cos.name/wp-includes/images/rss.png"/>
          </a>
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           中文论坛新帖
          </a>
         </h3>
         <ul>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417372/">
            处理时间数据和产生时间序列的问题
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/6790/">
            《统计陷阱》下载 （How to lie with statistics）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/818/">
            统计学的世界（第五版）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/16574/">
            class(x) 返回值值是AsIs,AsIs代表什么，有什么用处？
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417366/">
            如何用R绘制一个分类算法的决策规则
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_text" id="text-2">
         <h3 class="widget-title">
          登录/RSS
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            <a href="http://cos.name/wp-admin/">
             登录
            </a>
           </li>
           <li>
            <a href="http://cos.name/feed/" title="使用 RSS 2.0 同步站点内容">
             文章
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
           <li>
            <a href="http://cos.name/comments/feed/" title="RSS 上的最近评论">
             评论
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
          </ul>
         </div>
        </aside>
       </div>
       <!-- .widget-area -->
      </div>
      <!-- .sidebar-inner -->
     </div>
     <!-- #tertiary -->
    </div>
    <!-- #main -->
    <footer class="site-footer" id="colophon" role="contentinfo">
     <div class="site-info">
      版权所有 © 2014 统计之都 | 由
      <a href="http://wordpress.org/">
       WordPress
      </a>
      构建 | 主题修改自
      <a href="http://wordpress.org/themes/twentythirteen">
       Twenty Thirteen
      </a>
     </div>
     <!-- .site-info -->
    </footer>
    <!-- #colophon -->
   </div>
   <!-- #page -->
   <p style="margin:0;padding:0;height:1px;overflow:hidden;">
    <a href="http://www.wumii.com/widget/relatedItems" style="border:0;">
     <img src="http://static.wumii.cn/images/pixel.png"/>
    </a>
   </p>
  </div>
 </body>
</html>